Vào thời Xuân Thu, Quản Trọng là người đầu tiên trở thành tể tướng nước Tề năm 685 TCN. Đến thời kỳ Chiến Quốc thì tại các nước chư hầu khác của nhà Chu đều lập ra chức này. Thời nhà Tần, tên gọi chính thức của chức vụ này là thừa tướng. Đôi khi phân ra làm tả thừa tướng (đứng đầu quan văn) và hữu thừa tướng (đứng đầu quan võ). Nếu hoạn quan làm thừa tướng thì gọi là trung thừa tướng.

Thời kỳ đầu nhà Hán, mô hình tương tự như thời kỳ nhà Tần, thêm ngự sử đại phu là phó. Đến thời Hán Vũ Đế mới lấy những người theo Nho học làm thừa tướng để xử lý các công việc hành chính thường ngày nhưng các công việc hành chính quan trọng vẫn do nội đình giải quyết. Tể tướng khi đó là người đứng đầu thượng thư đài. Đến thời Hán Ai Đế, chức này được đổi thành đại tư đồ. Thời kỳ Đông Hán do tư đồ, tư không, thái úy (tam công) cùng chấp chính. Năm Kiến An thứ 13 (208) thời Hán Hiến Đế lại phục hồi chức thừa tướng, và Tào Tháo là người nắm giữ chức vụ này cho tới ngày 15 tháng 3 năm 220. Lúc này, quyền lực của tế tướng lấn át hoàng đế. Điều này thường xảy ra khi một triều đại trở nên yếu kém, và cũng thường sụp đổ không lâu sau đó.

Thời nhà Tấn và Nam Bắc triều, thừa tướng hay tướng quốc là những quyền thần có địa vị tối cao. Thời Nam-Bắc triều chế độ biến đổi nhiều, hoặc là hoàng đế trực tiếp bàn chính sự hoặc ủy quyền cho cơ mật giả (tức tể tướng). Chức danh có trung thư giám, trung thư lệnh, thị trung, thượng thư lệnh, bộc xạ hoặc tướng quân.

Nhà Tùy định ra tam tỉnh chế, các chức quan đứng đầu tam tỉnh bao gồm: nội sử tỉnh là nội sử lệnh, môn hạ tỉnh là nạp ngôn, thượng thư tỉnh là thượng thư lệnh đều là các chức vụ tương đương tể tướng.

Nhà Đường cải nội sử tỉnh thành trung thư tỉnh, nội sử lệnh thành trung thư lệnh, nạp ngôn thành thị trung.

Từ thời Đường Cao Tông trở đi, có "đồng trung thư môn hạ tam phẩm", đồng trung thư môn hạ bình chương sự chính là tể tướng.

Nhà Tống có đồng bình chương sự là tên gọi chính thức của chức vụ tể tướng, với tham tri chính sự là phó. Đến niên hiệu Nguyên Phong (1078-1085) thời Tống Thần Tông lại cải cách chế độ, cho 2 người đảm nhận công việc của tể tướng, với chức danh của quan đứng đầu là thượng thư tả bộc xạ kiêm môn hạ thị lang, phó là thượng thư hữu bộc xạ kiêm trung thư thị lang. Đến niên hiệu Chính Hòa (1111-1118) thời Tống Huy Tông, đổi tả bộc xạ thành thái tể kiêm môn hạ thị lang, hữu bộc xạ thành thiếu tể kiêm trung thư thị lang. Niên hiệu Tĩnh Khang (1126-1127) thời Tống Khâm Tông lại đổi trở lại thành thượng thư tả bộc xạ kiêm môn hạ thị lang và thượng thư hữu bộc xạ kiêm trung thư thị lang. Đến niên hiệu Kiến Viêm (1127-1130) thời Tống Cao Tông, lại đổi tên gọi chức quan của tể tướng thành thượng thư tả hữu bộc xạ đồng trung thư môn hạ bình chương sự, phó tể tướng thành tham tri chính sự. Niên hiệu Càn Đạo (1165-1173) thời Tống Hiếu Tông đổi thành tả, hữu thừa tướng.

Nhà Nguyên có trung thư tỉnh là cơ quan hành chính cao nhất, chức quan đứng đầu trung thư lệnh thường do hoàng thái tử đảm nhận, dưới có tả hữu thừa tướng, sau lại có bình chương chính sự, chức phó có tả hữu thừa cùng tham tri chính sự.

Thời kỳ đầu nhà Minh đặt trung thư tỉnh với tả-hữu thừa tướng đứng đầu. Năm Hồng Vũ thứ 13 (1380), Minh Thái Tổ bãi bỏ trung thư tỉnh, phế chức vụ thừa tướng, mọi công việc triều chính do hoàng đế tự quyết. Chế độ tể tướng bị bãi bỏ từ đây. Sau hoàng đế do nhiều công việc nên đặt ra chức vụ nội các đại học sĩ đảm nhận công việc văn thư. Sau do chức vụ này trở nên quan trọng, thành ra đại học sĩ có thể coi như là đảm nhận công việc của tể tướng, xưng là phụ thần, làm việc tại thủ phụ.

Nhà Thanh noi theo chế độ nhà Minh, sau Ung Chính thiết lập quân cơ xứ, quân cơ đại thần đảm nhận công việc của tể tướng. Cuối cùng, mô phỏng theo chế độ của Nhật Bản đổi thành nội các tổng lý đại thần.